Bắt đầu từ năm 674, người Ả Rập đã tiến hành cuộc bao vây thành Constantinopolis được chờ đợi từ lâu. Một hạm đội lớn đã được lắp bộ cánh buồm dưới sự chỉ huy của Abdu'l-Rahman ibn Abu Bakr[10] trước khi kết thúc năm đấy; trong những tháng mùa đông một số tàu thuyền còn neo đậu tại Smyrna, số còn lại nằm ngoài khơi bờ biển Cilicia.[10] Thêm một hạm đội khác được tăng cường cho lực lượng của Abd ar-Rahman trước khi họ khởi hành tới Hellespontos, từ đây họ đi thuyền trong khoảng tháng 4 năm 674.[10] Từ tháng 4 đến tháng 9 năm 674, đoàn tàu thả neo từ mũi đất Hebdomon, nằm trên Propontis, xa đến tận mũi đất Kyklobion, gần Cổng Vàng, và trong suốt những tháng tiếp theo thì giao chiến với hạm đội Đông La Mã bảo vệ bến cảng từ sáng đến tối.[10]

Biết rằng nó chỉ là vấn đề thời gian trước khi Constantinopolis bị vây hãm, Konstantinos đảm bảo rằng thành phố sẽ được chu cấp đầy đủ.[10] Ông còn cho đóng một số lượng lớn hỏa thuyền và các loại thuyền buồm nhanh được trang bị các ống phun lửa. Đây là trường hợp đầu tiên sử dụng lửa Hy Lạp được biết đến trong chiến đấu,[11] đó là một trong những lợi thế quan trọng mà người Đông La Mã sở hữu. Vào tháng 9, người Ả Rập đã thất bại trong nỗ lực chiếm thành phố của họ, liền dong buồm quay về Cyzicus mà họ đã thực hiện trong suốt mùa đông.[12] Trong năm năm tiếp theo, người Ả Rập đều quay trở lại mỗi mùa xuân để tiếp tục vây hãm Constantinopolis nhưng với kết quả tương tự.[10] Thành phố sống sót và cuối cùng đến năm 678 người Ả Rập đã buộc phải gia tăng cường độ bao vây. Người Ả Rập rút lui và đã gần như đồng thời bị đánh bại trên đất liền ở Lycia tại Anatolia.[4] Sự đảo ngược bất ngờ này đã buộc Muawiyah I tìm kiếm một thỏa thuận đình chiến với Konstantinos. Các điều khoản của thỏa thuận được ký kết yêu cầu người Ả Rập rút khỏi các đảo mà họ đã chiếm giữ tại Aegea, đồng thời phải trả một khoản cống nạp hàng năm cho Hoàng đế gồm năm mươi nô lệ, năm mươi con ngựa và 3.000 tấn vàng.[12] Việc chấm dứt cuộc vây hãm cho phép Konstantinos điều quân giải vây Thessalonika đang bị người Slav bao vây.[4]